- 综合排序
- 最热优先
- 最新优先
- 来自专栏麒思妙想
What is a Lakehouse?
解决数据湖限制的新系统开始出现，LakeHouse是一种结合了数据湖和数据仓库优势的新范式。 LakeHouse使用新的系统设计：直接在用于数据湖的低成本存储上实现与数据仓库中类似的数据结构和数据管理功能。 如果你现在需要重新设计数据仓库，鉴于现在存储（以对象存储的形式）廉价且高可靠，不妨可以使用LakeHouse。 What is a lakehouse? A lakehouse has the following key features: Transaction support: In an enterprise lakehouse many data
97120发布于 2020-07-10 - 来自专栏MySQL解决方案工程师
MySQL HeatWave Lakehouse
MySQL HeatWave Lakehouse介绍 MySQL HeatWave Lakehouse除了具有MySQL HeatWave的优势，还提供了以下功能： 向外扩展的体系结构，可以快速摄取、管理和执行查询 MySQL HeatWave Lakehouse自动将所有数据源转换为单一优化的内部格式。 无需对MySQL进行任何更改，MySQL HeatWave Lakehouse 100%符合MySQL语法。 自适应数据流：MySQL HeatWave Lakehouse动态适应底层对象存储的性能。 MySQL HeatWave Lakehouse的性能 官方提供了数据的加载性能测试和查询性能测试。
1.4K20编辑于 2022-11-21 - 来自专栏ApacheHudi
Lakehouse架构指南
数据湖、数据仓库 和 Lakehouse 之间有什么区别 那么从数据湖到Lakehouse有什么区别呢？Lakehouse是数据湖和数据仓库的组合（可能还有很多其他意见）。 与数据湖相比，Lakehouse具有额外的数据治理[15]。它包括集群计算框架和 SQL 查询引擎。更多功能丰富的 Lakehouse 还支持数据目录[16]和最先进的编排[17]。 image.png 如何将数据湖变成 Lakehouse 数据湖和Lakehouse的一个重要部分是数据治理。治理主要围绕数据质量、可观察性、监控和安全性，没有它将直接进入数据沼泽。 • 将数据加载到数据湖或Lakehouse中 替代方案或何时不使用数据湖或Lakehouse：如果需要数据库。不要使用 JSON 代替 Postgres-DB[64]。 /term/data-lakehouse?
2.7K20编辑于 2022-12-09 - 来自专栏ApacheHudi
LakeHouse 还是 Warehouse？(12)
现在LakeHouse中的世界更加结构化。 从某种意义上说 LakeHouse 试图将两者融合在一起，但挑战也存在，这些进步是必要的。
33810编辑于 2024-01-23 - 来自专栏ApacheHudi
基于 XTable 的 Dremio Lakehouse分析
这种开放性和灵活性的方法使数据存储和使用方式发生了转变。如今，客户可以选择在云对象存储（如 Amazon S3、Microsoft Azure Blob Storage或 Google Cloud Storage）中以开放表格式存储数据。数据由数据所有者全资拥有和管理，并保存在其安全的 Virtual Private Cloud （VPC） 帐户中。用户可以为其工作负载提供正确类型的查询引擎，而无需复制数据。这创建了一个面向未来的架构，可以在需要时将新工具添加到技术栈中。
80510编辑于 2024-06-08 - 来自专栏ApacheHudi
沃尔玛基于 Apache Hudi 构建 Lakehouse
Ankur 和 Ayush 分享了他们从沃尔玛从数据湖到数据 Lakehouse 架构的战略转变的动机和经验，重点关注了 Apache Hudi Lakehouse 格式在实现这一变化中的重要性。 他们的一些主要收获是促使使用数据 Lakehouse 的挑战以及采用通用 Lakehouse 架构的好处。 他解释说，“……数据仓库非常适合管理功能，并且数据湖具有可扩展性和敏捷性……我们正在结合[它们的优势]并创建数据Lakehouse。” 了解 Apache Hudi 随着这种自然的演变，Ankur 和 Ayush 旅程的下一步是为沃尔玛选择正确的数据Lakehouse架构。 Lakehouse 范式中为开发人员减轻的一项主要负担是读取和计算时间（图 4 中的步骤 2），因为在数据湖中，实现和管理全部由开发人员承担。
35410编辑于 2024-03-18 - 来自专栏深度学习与python
Lakehouse 如何重塑企业数据生态？
架构，那么 Lakehouse 未来的关键发展趋势有哪些？ 最后，我认为未来 Lakehouse 架构将会更加标准化。 其次，Lakehouse 希望确保数据具有较高的新鲜度，以便快速查询和使用。第三，简化 ETL 作业是 Lakehouse 设计的另一目标。 这些因素都会影响企业在引入实时 Lakehouse 架构时的选型决策。 在确定选型之后，还需考虑如何让新的 Lakehouse 架构与现有的企业生态兼容。 另外，关于 Lakehouse 是否会取代其他存储系统，我认为背后有一个前提：Lakehouse 架构本身依赖于底层存储系统的支持。
47910编辑于 2025-03-21 - 来自专栏ApacheHudi
加速 Lakehouse 表性能完整指南
在 Onehouse，我们的客户和我们支持的许多开源 Lakehouse 项目都让我们看到了有效表性能的重要性。 这就是 Lakehouse 的性能调整非常重要的地方。 Lakehouse 和开放表格式可以通过存储和计算的解耦来显着节省成本，并利用云超大规模存储服务实现近乎无限可扩展的存储。 如何优化 Data Lakehouse 性能 在本节中，我们将讨论 Lakehouse 表实现性能提升的常见方法，以及工程师如何利用这些技术来发挥我们的优势。 索引 索引于 2020 年首次在 Apache Hudi 中添加到数据Lakehouse中。 在本节中，我们将了解不同的 Hudi 索引属性以及如何在 Lakehouse 部署中设置它们。
51300编辑于 2025-01-20 StarRocks 4.0：Real-Time Intelligence on Lakehouse
Agent 构建对数据平台提出新挑战；数据新鲜度要求更实时，查询延时与并发要求更高、数据处理效率与性价比要求更高，StarRocks 4.x 大版本将以 Real-Time Intelligence on Lakehouse 展望未来StarRocks 4.0 是 Real-Time Intelligent on Lakehouse 的新起点，StarRocks 4.x 系列版本将继续深化核心能力，打造 Agent-ready Fast Delivery：Lakehouse 架构是 AI 时代的数据基座，StarRocks 持续优化 Lakehouse 构建、治理与分析的能力，让数据到业务价值的交付变得更加高效。
35610编辑于 2025-10-28- 来自专栏ApacheHudi
Notion 基于Apache Hudi构建LakeHouse
正是看到这种模式，促使 Notion 团队转向通用数据 Lakehouse 架构，该架构将更好地支持这种观察到的更新模式。 使用 Apache Hudi 解决挑战 该团队当时有多种架构选择 - Apache Hudi、Apache Iceberg 和 Delta Lake（Databricks 使用的内部 Delta Lakehouse 实施新的通用LakeHouse的回报是巨大的。由于整个系统的性能大幅提高，特别是替换了以前缓慢且昂贵的数据加载到 Snowflake 中，该团队立即节省了 125 万美元。 还指出了 Hudi 的 Lakehouse 架构对其数据基础设施的好处，并指出 Hudi 为 Notion 节省了 125 万美元的成本并提高了性能。
44510编辑于 2024-03-06 - 来自专栏ApacheHudi
基于 Apache Hudi + dbt 构建开放的Lakehouse
本博客的重点展示如何利用增量数据处理和执行字段级更新来构建一个开放式 Lakehouse。我们很高兴地宣布，用户现在可以使用 Apache Hudi + dbt 来构建开放Lakehouse。 什么是Lakehouse？ Lakehouse 是一种新的开放式架构，它结合了数据湖和数据仓库的最佳元素。 如何建造一个开放的Lakehouse？ 这是构建Lakehouse的第一步，这里有很多选择可以将数据加载到我们的开放Lakehouse中。 物化是在 Lakehouse 中持久化 dbt 模型的策略。
1.7K10编辑于 2022-12-09 Lakehouse x AI ，打造智能 BI 新体验
本文整理自瓴羊的王璟尧老师与镜舟科技石强老师的联合分享，围绕 Quick BI 在智能 BI 场景中的落地实践，深入探讨了 StarRocks 如何凭借 MPP 架构、实时分析能力与 AI 原生支持，成为智能分析的理想 Lakehouse 为什么 Lakehouse 正在成为智能分析的关键基石？ Lakehouse 之所以成为智能分析的核心基座，关键在于其兼具统一存储、高性能查询与 AI 原生支持三大能力，真正打通了从数据准备到模型训练、推理的全流程。 在智能分析场景中，数据通常经历 ETL 与特征工程 → 模型训练（training）→ 推理（inference）→ 服务（serving）等环节，整个链路的读取与存储均依赖 Lakehouse 架构中具备 StarRocks 的 lakehouse 架构赋能实时智能分析StarRocks 构建了统一的 Lakehouse 架构，有效支撑从数据接入、处理、分析到 AI 推理的全链路能力，正成为智能分析的关键底座
35410编辑于 2025-07-26- 来自专栏ApacheHudi
使用 Apache Hudi + Daft + Streamlit 构建 Lakehouse 分析应用
为了应对这些挑战，像 Streamlit[1] 这样的低代码工具作为 Python 生态系统的包装器，允许将 API、模型和业务逻辑变为现实。Streamlit 支持从数据库、API 和文件系统等各种来源轻松使用数据，从而轻松集成到应用程序中。在这篇博客中，我们将重点介绍如何使用直接来自开放湖仓一体平台的数据来构建数据应用。
1.1K10编辑于 2024-05-20 - 来自专栏深度学习与python
浅谈DeepSeek与Lakehouse的跨越式融合
DeepSeek+RAG+Lakehouse，或是释放数据价值的新思路，前边谈过 DeepSeek 和 RAG，这里我们重点看一下 Lakehouse（一体化湖仓）。 接下来，笔者就结合具体的方案，跟大家聊聊如何基于 Lakehouse 架构来构建一个具备“可信数据”的企业 RAG 知识库。 同时，数据会通过 Lakehouse 的一体化引擎（Single Engine）以及 AI 引擎进行转换和信息提取。 5 DeepSeek+RAG+Lakehouse 结合实现企业自有的 AI 函数、对话式分析、文档问答 通过与 DeepSeek 等 AI 模型深度集成，Lakehouse 还可以实现企业自有的 AI 而 DeepSeek 等私有部署 LLM + Lakehouse 架构的结合，未来或是一种全新的企业级 AI 范式。
28600编辑于 2025-02-28 - 来自专栏ApacheHudi
Halodoc使用Apache Hudi构建Lakehouse的关键经验
Halodoc 数据工程已经从传统的数据平台 1.0 发展到使用 LakeHouse 架构的现代数据平台 2.0 的改造。 在我们之前的博客中，我们提到了我们如何在 Halodoc 实施 Lakehouse 架构来服务于大规模的分析工作负载。我们提到了平台 2.0 构建过程中的设计注意事项、最佳实践和学习。 让我们看看在构建Lakehouse时遇到的一些关键挑战，以及我们如何使用 Hudi 和 AWS 云服务解决这些挑战。 在 LakeHouse 中执行增量 Upsert 每个人在构建事务数据湖时面临的主要挑战之一是确定正确的主键来更新数据湖中的记录。 在这篇博客中，我们分享了我们在构建 LakeHouse 时遇到的一些问题，以及在生产环境中使用 Apache Hudi 时正确配置参数/配置的最佳实践。
1.3K40编辑于 2022-05-18 - 来自专栏ApacheHudi
加速LakeHouse ACID Upsert的新写时复制方案
动机 高效的表 ACID 更新插入对于当今的 Lakehouse 至关重要。数据保留和变更数据捕获 (CDC) 等重要用例严重依赖它。 LakeHouse 中的写时复制 在本文中我们使用 Apache Hudi 作为示例，但类似的想法也适用于 Delta Lake 和 Apache Iceberg。 图 5：新写时复制与传统 Delta Lake 的基准测试结果 结论 总之高效的 ACID 更新插入对于当今的LakeHouse至关重要。 我们的方法使公司能够高效地执行数据删除和 CDC，以及依赖 LakeHouse 中高效表更新插入的其他重要用例。 未来工作 我们计划将行级索引和快速写时复制功能集成到 Apache Hudi，Uber 的 LakeHouse 就是在 Apache Hudi 上构建。
43310编辑于 2023-09-04 - 来自专栏ApacheHudi
使用Apache Pulsar + Hudi 构建Lakehouse方案了解下？
由StreamNative Founder & CEO 郭斯杰 执笔的Apache Pulsar作为Lakehouse的提案，阐述如何利用Apache Hudi解决Pulsar作为Lakehouse的痛点问题 动机 Lakehouse最早由Databricks公司提出，其可作为低成本、直接访问云存储并提供传统DBMS管系统性能和ACID事务、版本、审计、索引、缓存、查询优化的数据管理系统，Lakehouse 可以看到Pulsar满足构建Lakehouse的所有条件。 新的Lakehouse存储方案 新方案建议在分层存储中使用Lakehouse存储卸载的数据。 我们不必使用像Apache Hudi这样的Lakehouse存储库。但是如果我们也将元数据存储在分层存储中，则使用Lakehouse存储库来确保ACID更有意义。
1.3K20发布于 2021-05-24 - 来自专栏鸿的学习笔记
关于 Lakehouse 的一些笔记和看法
于是，Databricks 公司提出了 Lakehouse 的概念，试图解决这些问题。 Lakehouse 概念 Lakehouse 将数据仓库建立在数据湖之上，赋予了数据湖事务支持、表结构、报表以及分析应用的支持等功能。 除了这些外，Lakehouse 还具有着如下特征： 数据类型扩展：数据类型扩展：数仓仅可以支持结构化数据，而 Lakehouse 的结构可以支持更多不同类型的数据，包括文件、视频、音频和系统日志。 ，因此不同的引擎，不同的语言都可以在 Lakehouse 上进行操作。 Lakehouse 关键技术 Lakehouse 的关键技术在于赋予了数据湖的一个元数据层，让可追踪的文件格式变成了表的变更版本的一部分，以提供丰富的管理特征，比如事务。
88110发布于 2021-02-24 - 来自专栏charlieroro
使用部分写时复制提升Lakehouse的 ACID Upserts性能
使用部分写时复制提升Lakehouse的 ACID Upserts性能 译自：Fast Copy-On-Write within Apache Parquet for Data Lakehouse ACID Lakehouse中的写时复制 本文中我们使用Apache Hudi作为例子，但同样适用于Delta Lake和Apache Iceberg。 Apache Parquet中的写时复制 我们在Apache Parquet中引入了一种新的写时复制方式来加速lakehouse的upserts。 总结 总之，高效的ACID upserts对今天的lakehouse至关重要。 该方法使公司能够高效地执行数据删除和CDC，并适用于其他依赖于lakehouse中高效表更新的场景。
61910编辑于 2023-07-20 - 来自专栏ApacheHudi
基于 Apache Hudi + Presto + AWS S3 构建开放Lakehouse
认识Lakehouse 数据仓库被认为是对结构化数据执行分析的标准，但它不能处理非结构化数据。包括诸如文本、图像、音频、视频和其他格式的信息。 开放的Lakehouse 云计算发展引发了计算与存储分离，这利用了成本优势并能够灵活地存储来自多个来源的数据。所有这一切都催生了开放Lakehouse的新数据平台架构。 什么是Lakehouse 开放的Lakehouse 基于将仓库工作负载引入数据湖的概念。可以对不需要供应商锁定的技术和工具进行分析，包括许可、数据格式、接口和基础设施。 为什么选择Lakehouse 开放Lakehouse允许以较低的成本在中央存储库中整合结构化和半/非结构化数据，并消除运行 ETL 的复杂性。这会带来高性能并减少运行分析的成本和时间。 开放 Lakehouse 分析栈中的事务层至关重要，尤其是随着数据量的增加以及必须更新数据的次数不断增加。
2K20编辑于 2022-12-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号